Hán Vũ Đế nghe tin Lữ Gia không nghe mệnh, mà Triệu Ai Vương và Cù Thái hậu thì cô lập, yếu ớt không chế ngự nổi, sứ giả thì nhút nhát không quyết đoán, lại thấy Ai Vương và Thái hậu đã nội phụ rồi, chỉ một mình Lữ Gia làm loạn, không đáng dấy quân, muốn sai Trang Sâm đem 2.000 người sang sứ. Trang Sâm nói:

"Lấy sự hòa hiếu mà sang, thì vài người cũng đủ, lấy vũ lực mà sang, thì 2 nghìn người không làm gì được".

Sâm từ chối không nhận. Hán Vũ Đế bèn bãi chức Sâm. Tướng Tế Bắc cũ là Hàn Thiên Thu hăng hái nói:

"Một nước Việt cỏn con, lại có vương và thái hậu làm nội ứng, chỉ một mình thừa tướng Lữ Gia làm loạn, xin cấp cho 3 trăm dũng sĩ, thế nào cũng chém được Gia về báo".

Không lâu sau, Hán Vũ Đế sai Thiên Thu và em Cù thái hậu là Cù Lạc (樛樂) đem 2.000 người tiến vào đất Nam Việt. Lữ Gia bèn hạ lệnh trong nước rằng:

"Vương còn nhỏ tuổi, Thái hậu vốn là người Hán, lại cùng với sứ giả nhà Hán dâm loạn, chuyên ý muốn nội phụ với nhà Hán, đem hết đồ châu báu của Tiên Vương dâng cho nhà Hán để nịnh bợ, đem theo nhiều người đến Trường An rồi bắt bán cho người ta làm đầy tớ, chỉ nghĩ mối lợi một thời, không đoái gì đến xã tắc họ Triệu và lo kế muôn đời".

Gia bèn cùng với em đem quân đánh, giết Triệu Ai Vương và Thái hậu, cùng tất cả bọn sứ giả nhà Hán, rồi sai người đi báo cho Tần Vương Triệu Quang ở Thương Ngô và các quận ấp, lập con trưởng của Triệu Minh Vương là Thuật Dương hầu Kiến Đức lên kế vị.